跳转至

文章背景与核心概要

在构建基于大语言模型（LLM）的智能体（Agent）系统时，当模型无法在第一次尝试中解决查询，系统通常会自动进行重试，并在随后的每一步中生成额外的 Token。这种机制导致了名义上的每 Token 价格与完整工作流实际总开销之间存在隐藏的成本差异，作者将其定义为 Token 通胀（Token Inflation）。传统的模型路由器（如 FrugalGPT）往往忽视了这种通胀效应，从而在处理复杂工作负载时导致超过 2 倍的成本低估。

为了解决这一痛点，本文作者推出了 InflationAgent——一个四阶段的路由框架。该框架能够系统性地衡量 Token 通胀，利用本地熵信号预测任务难度，通过语义汇率（SER）最大化成本效益，并在不降低性能的前提下安全地升级失败的推理链。该研究不仅在基准测试中取得了更高的准确率和更低的 Token 消耗，还通过实验证实了将失败的推理链直接强行转发给 GPT-4o 等强大模型反而会损害其准确率，从而强有力地证明了“全新升级（fresh-escalation）”设计机制的必要性。

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

作者： Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong
学科领域： 计算与语言 (cs.CL); 人工智能 (cs.AI)
arXiv： 2608.13571 | 提交时间： 2026年7月2日
许可协议： CC BY 4.0 license icon

Authors: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong
Subjects: Computation and Language (cs.CL); Artificial Intelligence (cs.AI)
arXiv: 2608.13571 | Submitted: July 2, 2026
License: CC BY 4.0 license icon

Executive Summary

Executive Summary

当大语言模型（LLM）未能一次性解决某个查询时，智能体系统会自动重试，并在后续的每一个步骤中生成额外的 Token。这就产生了一个隐藏的成本差异——被称为 Token 通胀（token inflation）——它存在于模型标称的每 Token 价格与完整工作流的实际总开销之间。

When Large Language Models (LLMs) fail to solve a query on the first attempt, agentic systems automatically retry, generating additional tokens with every subsequent step. This creates a hidden cost discrepancy—termed token inflation—between a model's stated per-token price and the actual total expense of a full workflow.

传统路由器（如 FrugalGPT）忽视了这种通胀，导致在复杂工作负载下的成本低估超过 \(2\times\)。为了解决这一问题，作者引入了 InflationAgent，这是一个四阶段的路由框架，能够系统性地测量 Token 通胀，利用本地熵信号预测难度，通过语义汇率（Semantic Exchange Rate, SER）最大化成本效益，并在不降低性能的前提下安全升级失败的推理链。

Traditional routers (like FrugalGPT) overlook this inflation, leading to cost underestimations exceeding \(2\times\) on complex workloads. To solve this, the authors introduce InflationAgent, a four-stage routing framework that systematically measures token inflation, predicts difficulty using local entropy signals, maximizes cost-efficiency via a Semantic Exchange Rate (SER), and safely escalates failed reasoning chains without degrading performance.

Key Contributions

Key Contributions

  1. 量化 Token 通胀： 系统性测量显示，当 7B 模型处理多跳问答时，Token 通胀率最高可飙升至 \(4.25\times\)。
  2. 思维链分支熵（CoT Branching Entropy, CBE）： 一种完全通过本地推理计算的前置执行难度信号，能够以 0.887 的 AUROC 预测高通胀。
  3. 语义汇率（Semantic Exchange Rate, SER）： 一项将预期准确率除以预测真实成本的模型选择指标，并配合全新的升级策略，在切换到更强大的模型之前丢弃失败的推理循环。
  4. 卓越性能： 在固定预算下的 GSM8K 基准测试中，InflationAgent 实现了 94.7% 的准确率（相比 FrugalGPT 的 91.0%），同时消耗了 少 31% 的 Token。此外，实验证明将失败的推理链直接转发给 GPT-4o 等强大模型会使其准确率下降高达 34.8 个百分点，从而验证了“全新升级”设计方案的必要性。
  1. Quantifying Token Inflation: Systematic measurement reveals that token inflation can surge as high as \(4.25\times\) for a 7B model handling multi-hop question answering.
  2. CoT Branching Entropy (CBE): A pre-execution difficulty signal computed entirely via local inference, capable of predicting high inflation with an 0.887 AUROC.
  3. Semantic Exchange Rate (SER): A model-selection metric dividing expected accuracy by predicted true cost, coupled with a fresh-escalation policy to discard failed reasoning loops before switching to stronger models.
  4. Superior Performance: On the GSM8K benchmark under a fixed budget, InflationAgent achieves 94.7% accuracy (compared to FrugalGPT's 91.0%) while consuming 31% fewer tokens. Furthermore, forwarding failed reasoning chains directly to powerful models like GPT-4o is proven to hurt their accuracy by up to 34.8 percentage points, validating the necessity of the "fresh-escalation" design.